Towards testing of automated driving functions in virtual driving environments

In dieser Arbeit wird ein Beitrag für den methodischen Test von automatisierten Fahrfunktionen mit Hilfe von virtuellen Umgebungen geleistet. Im ersten Teil wird die Notwendigkeit eines systematischen Testkonzepts begründet und die These aufgestellt, dass ein szenariobasiertes Testkonzept eine mögliche Lösung für das Testdilemma darstellen könnte. Dazu werden sechs Forschungsfragen aufgestellt, die für die Entwicklung eines szenariobasierten Ansatzes beantwortet werden müssen. Im zweiten Teil werden die Grundlagen und Voraussetzungen der Arbeit dargestellt. Hierfür werden Begriffe und Definitionen vorgestellt. Weiterhin wird der Begriff der Komplexität von Szenarien untersucht. Die Automatisierungsgrade und eine funktionale Systemarchitektur für automatisierte Fahrfunktionen werden vorgestellt. Der Teil schließt mit einer Klassifikation von verschiedenen X-in-the-Loop-Verfahren ab. Im dritten Teil wird das Testkonzept des modularen virtuellen Testbaukastens vorgestellt. Es werden Anforderungen definiert sowie der Aufbau und die Schnittstellen zwischen den Modulen des Testbaukastens präsentiert. Für die Auswahl und Analyse der Einflussparameter, die Testfallerstellung und die Testdurchführung mittels X-in-the-Loop-Verfahren werden Anforderungen definiert und der relevante Stand der Technik vorgestellt. Daraus wird der Forschungsbedarf abgeleitet. Für die Auswahl und Analyse der Einflussparameter wird ein Schema zur Beschreibung der Einflussparameter hergeleitet und Informationsquellen für die Auswahl und Analyse von Einflussparametern werden bewertet. Für die Testfallerstellung wird ein generisches Modell zur Beschreibung von Szenarien vorgestellt und eine kombinatorische Testfallableitung präsentiert. Für die Testdurchführung wird eine Zuordnungsmethode für Testfälle auf verschiedene X-in-the-Loop-Verfahren beschrieben. Zusätzlich werden Testtreiber für die Module einer funktionalen Systemarchitektur analysiert und die Testtreiber des modularen virtuellen Testbaukastens vorgestellt. Für die Testfallauswertung werden Anforderungen definiert und Methoden aus dem Stand der Technik zur Bewertung und zur Analyse der Testergebnissen präsentiert. Der Teil schließt mit einer Beschreibung der Limitationen des Testbaukastens ab. Der vierte Teil beschreibt die Anwendung des Testbaukastens im Fallbeispiel des Engstellenassistenten. Das Projekt wird vorgestellt und die verschiedenen Module des Testbaukastens werden angewendet.This dissertation contributes to the systematical test of driving functions with virtual environments. The first part establishes the necessity of a systematic test concept for automated driving functions. The challenge of testing automated driving functions is presented and the assumption that scenario-based test concept can be a possible solution. Six research questions will be asked in this section, which have to be answered for the development of a scenario-based test concept. The second part defines important terms and analyses prior art as a foundation for this dissertation. Furthermore the levels of automated driving functions are presented and a functional system architecture is suggested. Finally, methods of software testing, traffic simulations, and classification methods for x-in-the-loop techniques are discussed. The third part purposes a concept for a modular virtual testing toolbox. The structure and interfaces between modules of the toolbox are described. Furthermore, requirements are stated for the following modules: selection and analysis of influence parameters, test case generation, test execution with x-in-the-loop techniques, and test case evaluation. For each of these modules selected state of the art methods are presented. Hence, the need for research is deduced. For the selection and analysis of influence parameters, a schema for describing influence parameters is introduced. Furthermore, resources for the selection and analysis of influence parameters are evaluated. For the test case generation, a unified model for the description of scenarios is presented. Additionally, a combinatorial test case deduction is described. For the test case execution, a method for assigning test cases to x-in-the-loop techniques is suggested. For the test case evaluation, a method for the evaluation and analysis of the test result is presented. A review of the limitation of the modular virtual testing toolbox closes this part. The fourth part presents the application of the modular virtual test toolbox to the constriction assistance system. The project is described and the single modules of the toolbox are applied to the assistance system

Technical Evaluation of the Carolo-Cup 2014 - A Competition for Self-Driving Miniature Cars

The Carolo-Cup competition conducted for the eighth time this year, is an international student competition focusing on autonomous driving scenarios implemented on 1:10 scale car models. Three practical sub-competitions have to be realized in this context and represent a complex, interdisciplinary challenge. Hence, students have to cope with all core topics like mechanical development, electronic design, and programming as addressed usually by robotic applications. In this paper we introduce the competition challenges in detail and evaluate the results of all 13 participating teams from the 2014 competition. For this purpose, we analyze technical as well as non-technical configurations of each student group and derive best practices, lessons learned, and criteria as a precondition for a successful participation. Due to the comprehensive orientation of the Carolo-Cup, this knowledge can be applied on comparable projects and related competitions as well

Effiziente systematische Testgenerierung für Fahrerassistenzsysteme in virtuellen Umgebungen

Im Fokus dieses Beitrags steht die Entwicklung eines Testkonzepts, welches dazu geeignet ist, mit Hilfe von systematisch-erzeugten virtuellen Testszenarien verschiedene Fahrerassistenzsysteme effizient zu testen und validieren. Um die Anwendbarkeit und zugleich den Nutzen des Testkonzepts beurteilen und sukzessive optimieren zu können, wird das Testverfahren praxisnah angewendet. Hierzu werden exemplarisch aus den beiden Forschungsprojekten UR:BAN-KA und Stadtpilot verschiedene Teilfunktionen herangezogen. Das Konzept testet die Assistenzsysteme durch eine Vielzahl von verschiedenen Szenarien, die sich hinsichtlich einzelner Faktoren voneinander unterscheiden. Hierzu gehören unter anderem verschiedenste Straßengeometrien und -topologien, Verkehrssituationen sowie Umwelteinflüsse. Die einzelnen Parameter der Szenarien werden durch kombinatorische Verfahren variiert und auf diese Weise redundanzarme effiziente Testfälle erzeugt. Das Konzept umfasst ebenfalls eine simulationsgestützte automatisierte Testdurchführung und -auswertung. Realtests können durch das Testkonzept nicht vollständig ersetzt werden, jedoch ist es möglich, die Anzahl der notwendigen Realtests erheblich zu reduzieren. Somit können schon zahlreiche Tests in einer frühen Phase der Entwicklung durchgeführt und die Qualität der Systeme verbessert werden

Integrated Real-Time Data Stream Analysis and Sketch-Based Video Retrieval in Team Sports

Big data in sports comes with two closely related challenges: first, the online analysis of continuous data streams to identify characteristic events and second, advanced retrieval in video collections and/or event data that help game analysts to search for characteristic video scenes. For both challenges, dedicated big data stream processing and retrieval systems have been developed. However, there is no infrastructure yet that integrates retrieval and automatic online data stream analysis. In this paper, we close this gap by seamlessly combining StreamTeam, our real-time team sports analysis system, and SportSense, our team sports video retrieval system, to an integrated team sports analysis infrastructure that (i) automatically detects (collaborative) events and generates statistics in real-time based on a continuous stream of raw positions, (ii) visualizes the analysis results in real-time, (iii) stores the analysis results persistently for offline activities, and (iv) leverages the stored analysis results for intuitive sketchbased video retrieval

Combining Qualitative and Quantitative Analysis in Football with SportSense

The task of performance analysts and coaches in football (and other team sports) is manifold: they need to assess the performance of individual players of their team, they need to monitor the interaction between players of their team and their tactical compliance, and they need to analyze other teams. For this, they usually have to consider various sources of information: video footage, tracking data, event data, and aggregated statistics. On the basis of this information, analysts have to generate quantitative summaries of events including their spatial and temporal distribution, and the qualitative assessment of individual events by considering the associated video footage. In this paper, we present SportSense, a system for sports video retrieval, that seamlessly combines quantitative and qualitative analysis. For this, SportSense provides dedicated filters that help analysts in selecting the events they are interested in. Moreover, it supports the comparative analysis of stored queries with respect to specific parameters. Essentially, SportSense allows to easily switch between qualitative and quantitative analyses to support coaches and analysts in a best possible way in their task. Based on a user study, we show the effectiveness of the proposed approach

SportSense: user interface for sketch-based spatio-temporal team sports video scene retrieval

In the last years, various sports have seen significant efforts in collecting large volumes of video, mainly for analytical purposes. These videos are tagged with events that include spatial and temporal information. In order to avoid that game analysts have to manually analyze large video collections, appropriate user interfaces are needed for finding characteristic video scenes. SPORTSENSE is a novel sketch-based video retrieval system tailored to the needs of sports video analysts which include spatio-temporal queries such as player movements, ball trajectories, or interactions between players. We present the user interface of SPORTSENSE that allows users to draw sketches of spatio-temporal events on the field and that visualizes the retrieved video scenes. We introduce the data model of SPORTSENSE, show the sketch-based spatio-temporal retrieval on the annotated videos, and present a qualitative evaluation exhibiting the effectiveness of the SPORTSENSE UI

SportSense: User Interface for Sketch-Based Spatio-Temporal Team Sports Video Scene Retrieval

In the last years, various sports have seen significant efforts in collecting large volumes of video, mainly for analytical purposes. These videos are tagged with events that include spatial and temporal information. In order to avoid that game analysts have to manually analyze large video collections, appropriate user interfaces are needed for finding characteristic video scenes. SPORTSENSE is a novel sketch-based video retrieval system tailored to the needs of sports video analysts which include spatio-temporal queries such as player movements, ball trajectories, or interactions between players. We present the user interface of SPORTSENSE that allows users to draw sketches of spatio-temporal events on the field and that visualizes the retrieved video scenes. We introduce the data model of  SPORTSENSE, show the sketch-based spatio-temporal retrieval on the annotated videos, and present a qualitative evaluation exhibiting the effectiveness of the SPORTSENSE UI